NVIDIA tăng thêm hiệu suất AI lên gấp 3 lần cho GPU GeForce RTX, máy trạm RTX PC & RTX với trình điều khiển mới nhất

Trong sự kiện Microsoft Build hôm nay, NVIDIA đã công bố một loạt tính năng tối ưu hóa hiệu suất AI mới hiện có sẵn trên nền tảng RTX, bao gồm GPU GeForce RTX, Máy trạm và PC.

Các tối ưu hóa mới được nhắm mục tiêu cụ thể vào một loạt LLM (Mô hình ngôn ngữ lớn) hỗ trợ trải nghiệm AI sáng tạo mới nhất. Sử dụng trình điều khiển R555 mới nhất, GPU RTX và nền tảng AI PC của NVIDIA hiện cung cấp hiệu suất AI nhanh hơn gấp 3 lần với ONNX Runtime (ORT) và DirectML. Hai công cụ này được sử dụng để chạy các mô hình AI cục bộ trên PC Windows.

Ngoài ra, WebNN cũng đã được tăng tốc với RTX thông qua DirectML. Đây là giao diện lập trình ứng dụng dành cho các nhà phát triển web để triển khai các mô hình AI mới. Microsoft đang hợp tác với NVIDIA để tăng tốc hơn nữa hiệu suất GPU RTX đồng thời bổ sung hỗ trợ DirectML trên PyTorch. Sau đây là danh sách đầy đủ các khả năng mà trình điều khiển R555 mới cung cấp cho GPU GeForce RTX và PC RTX:

• Hỗ trợ siêu lệnh DQ-GEMM để xử lý lượng tử hóa chỉ trọng số INT4 cho LLM

• Các phương pháp chuẩn hóa RMSNorm mới cho các mô hình Llama 2, Llama 3, Mistral và Phi-3

• Cơ chế chú ý nhóm và đa truy vấn cũng như chú ý cửa sổ trượt để hỗ trợ Mistral

• Cập nhật KV tại chỗ để cải thiện hiệu suất chú ý

• Hỗ trợ GEMM của các tensor không bội số của 8 để cải thiện hiệu suất pha ngữ cảnh

Trong các điểm chuẩn hiệu suất của ORT, một tiện ích mở rộng AI tổng quát do Microsoft phát hành, NVIDIA cho thấy mức tăng trưởng ở cả hai loại dữ liệu INT4 và FP16. Cải thiện hiệu suất lên tới gấp 3 lần nhờ các kỹ thuật tối ưu hóa được thêm vào trong các tiện ích mở rộng này dành cho LLM như Phi-3, Llama 3, Gemma và Mistral.

Bên cạnh những cải tiến này, NVIDIA còn dẫn đầu lĩnh vực PC AI dành cho người tiêu dùng với bộ TensorRT và TensorRT-LLM mạnh mẽ . Công ty cũng cung cấp nhiều giải pháp đa dạng được hỗ trợ bởi phần cứng AI được tích hợp trong các GPU như Tensor Cores.

Các giải pháp này bao gồm công nghệ Siêu phân giải DLSS mang tính thay đổi cuộc chơi , NVIDIA ACE , RTX Remix , Omniverse , Broadcast , RTX Video và một số công nghệ khác. GPU của NVIDIA cung cấp tới 1300 TOPS tính toán AI, vượt xa các chip nhanh nhất sắp ra mắt trong năm nay vốn chỉ được dự kiến ​​​​đạt được 100 TOPS. Hơn nữa, những chiếc PC này sẽ được trang bị GPU NVIDIA RTX mới nhất, tiếp thêm sức mạnh cho nền tảng RTX AI PC và đẩy phân khúc AI tiến xa hơn trong phân khúc người tiêu dùng.

GeForce RTX , NVIDIA tăng thêm hiệu suất AI lên gấp 3 lần cho GPU,  NVIDIA , NVIDIA ACE , RTX Remix , Omniverse , Broadcast , RTX Video

Xếp hạng tất cả Card đồ họa- GPU Tháng 4-2024 Sức mạnh, Điểm benchmarks và giá tiền